指南针的发明应当是在一个很漫长的时间中，慢慢地改进的结果，而不同时期的形式，应以不同的形式出现。唐代堪舆家的活动相当活跃，并开始强调方向的选择，寻找比磁勺更方便的指向器成了当务之急。于是指南铁鱼或者蝌蚪形铁质指向器及水浮磁针应运而生。

活动于唐开元年间（713—741年）的山西堪舆家丘延瀚，被后世堪舆家推崇为堪舆术三针（正针、缝针和中针）中最早出现的正针法的创始人。明代雅好科技的宁献王朱权则在其《神机秘籍》中说：“针法古无所传，自昔玄真始制。”玄真即唐代浙江金华道家张志和（约730—约810年），他的道号叫玄真子，所著《玄真子》十二卷，残存三卷。

从这残卷中知道他颇好物理，但未找到与指南针或针法直接有关的记载。然而，这个道号不禁使人联想到旧题晋崔豹所作的《古今注》中把蝌蚪称为“玄针”。其文曰：“虾蟇子，曰蝌蚪，一曰玄针，一曰玄鱼，形圆而尾大，尾脱即脚生。”十世纪时马缟的《中华古今注》中也有类似的记载。这项记载似乎把磁针与指南鱼的发明和应用从形状和性能上联系到了一起。

关于指南鱼的制备方法，见于北宋曾公亮等利用前人资料编撰的《武经总要》。《武经总要》前集卷十五载其法曰：“用薄铁叶剪裁，长二寸，阔五分，首尾锐如鱼形，置炭火中烧之，候通赤，以铁钤钤鱼首出火，以尾正对子位，蘸水盆中，没尾数分则止，以密器收之。”这种方法利用地磁场使铁片磁化，并知道鱼形铁片微向下倾斜对磁化有利，实际上已发现近代科学中所谓的磁倾角的影响。使用时，指南鱼浮于水面，与水浮磁针的原理是一致的。

水浮磁针的制作方法首见于北宋沈括的《梦溪笔谈》卷二十四，其文曰：“方家以磁石摩针锋，则能指南。”这种方家在实践中总结出来的钢针磁化法，经过沈括之手公布于世，有力地促进了磁针在堪舆和航海两大领域中的应用和普及。指南针进入到实用磁针的阶段，对装置方法的研究提到了议事日程。

沈括全面研究和比较了“水浮”法、置“指爪”法、置“碗唇”法及“缕悬”法的优缺点，认为“缕悬”法最佳。“其法取新纩中独茧缕，以芥子许蜡，缀于针腰，无风处悬之，则针常指南。”现代磁强计中悬挂的小磁铁，就采用了此相似的方法。磁针指的精度，与司南及指南鱼不可同日而语，故磁针的发明，很快导致了磁偏角的发现。

五代乱世的《管氏地理指蒙·释中第八》曰：磁针“体轻而径所指必端应一气之所召，土曷中而方曷偏，较轩辕之纪，尚在星虚丁癸之躔”。轩辕黄帝时代的磁偏角，作者以为尚在“星（午）虚（子）丁癸”方向，而当时“针指坎离定阴阳之分野，格偏壬丙探僭越之津涯”。偏角变为南偏东15°。

由于堪舆术的神秘性，中国唐宋堪舆著作在流传中又相互影响，有所增删，要从众多早期堪舆著作中理出磁针、磁偏角以至罗盘的发明、发现年代，诚非易事，然而，北宋司天监杨惟德于庆历元年（1041年）奉命编撰的相墓大全《茔原总录》卷一位磁偏角的发现订定了下限。书中说：“客主的取，宜匡四正以无差，当取丙午针，于其正处，中而格之，取方直之正也。”

这里明确地记载了“丙午针”，即后世沈括在《梦溪笔谈》卷二十四中所说的磁针“常微偏东，不全南也”。在西方，直到13世纪才知道磁针偏南。1429年哥伦布（ChristopherColumbus，1451—1506年）横渡大西洋时，正式测到磁偏角现象。

中国发现了元代水浮法指南针瓷碗。1959年，在辽宁旅顺甘井子元代墓葬中出土了两件磁州窑白釉褐花大碗，大碗内底部彩绘两个同心圆，圆内绘并排的三点，中间一线相连。乍看此图形似一个不规则的“王”字，故被称为“王字纹碗”。碗外底圈足内又墨书一个“针”字。经科技史学家王振铎先生研究证实，这种碗就是航海时指示方向所用的针碗。

它的使用方法是这样的：针碗的水面上漂着穿在浮漂上的磁针，碗内底的“王”字形标志则有助于标明方向。先将“王”字中的细道与船身中心线对直，如船身转向，磁针便和该细线形成夹角，从而显示航向转移的角度。类似的碗在江苏丹徒照临村元代窖藏和河北省磁县漳河故道元代沉船内都有发现。